爬虫|以豆瓣为例简单地介绍爬取网站数据的方法

从上周起就开始自学大数据相关知识，有人说“要教学生一碗水，自己得有一桶水”，所以教师的知识储备需要跟上时代的脚步不断更新。

首先，我打开豆瓣网找到了它的robots.txt文件，打开内容如下：

https://www.douban.com/robots.txt

然后根据它的协议构建头文件， user–agent是用户代理的意思,说明什么浏览器或哪些爬虫可以访问本网站,使用*表示任意的访问，Disallow对应的为不允许收录网站的某些目录。然后就可以根据robots.txt文件中允许爬取的方式开始编程爬取数据：

import requests
url ="https://movie.douban.com/chart"
try:
hd ={'User-agent':'*'}
r = requests.get(url, headers=hd)
r.raise_for_status()
r.encoding=r.apparent_encoding
print(r.text)
except:
print("爬取失败")

运行后，数据果然被爬取下来了，如下图，是不是很简单？

用同样的方法，只要修改url，并查出robots.txt的内容，修改hd数据，就可以爬取各个不同的网站内容了。

爬虫相关文章